Tướng Grant phối hợp cùng lực lượng hải quân Hoa Kỳ của đô đốc Andrew H. Foote, bắt đầu hành quân dọc theo sông Tennessee bằng tàu vận tải từ ngày 2 tháng 2, tiến nhanh đến đồn Henry gần biên giới Tennessee và Kentucky. Đồn này nằm trên một vùng đất lụt, nhiều khẩu đại bác bị ngập dưới nước, nên hầu như không thể chống giữ được với các pháo hạm. Do tuyên bố trung lập trước đó của Kentucky, quân miền Nam không thể xây dựng được hệ thống phòng thủ đường sông tại một vị trí nào đó có nhiều giá trị chiến lược hơn trong địa phận của tiểu bang, nên phải đóng tại một cứ điểm ở ngay sát bên trong đường biên giới Tennessee. Với lực lượng pháo thủ nhỏ yếu, chỉ huy đồn là chuẩn tướng Lloyd Tilghman đã làm một trận đấu pháo với đội tàu miền Bắc trong gần 3 tiếng đồng hồ trước khi nhận ra rằng tiếp tục chống cự là vô ích. Ngày 5 tháng 2, Tilghman cùng phần lớn lực lượng đồn trú rút chạy về giữ đồn Donelson cách đó 18 km về phía đông trên sông Cumberland. Đồn Henry thất thủ, sông Tennessee mở rộng cho quân miền Bắc tiến xuống phía nam.[8]

Đồn Donelson nằm trên sông Cumberland, được bố trí kiên cố hơn đồn Henry, Hải quân miền Bắc bắn phá nhưng không hạ nổi. Quân bộ của tướng Grant rượt đến trên đà truy kích Tilghman đã thử đánh gấp vào sau lưng đồn nhưng cũng không thành công, phải đóng quân bao vây. Ngày 15 tháng 2 quân miền Nam do chuẩn tướng John B. Floyd chỉ huy bất ngờ kéo ra phá vòng vây, tấn công vào cánh phải của quân miền Bắc (dưới quyền chỉ huy của chuẩn tướng John. A. McClernand) và đẩy lui được sư đoàn của McClernand nhưng không đủ sức vượt thoát. Tướng Grant sau đòn bất ngờ này đã củng cố lại và huy động binh sĩ mở cuộc phản công ác liệt vào cánh phải yếu ớt của quân miền Nam. Chuẩn tướng miền Nam Simon B. Buckner bị vây hãm trong đồn và trong thị trấn Dover, Tennessee, đã phải ra hàng với đội quân 11.500 người cùng nhiều đại bác và đồ tiếp tế, theo đúng yêu cầu "đầu hàng vô điều kiện" của tướng Grant. Kể từ đó Grant được đặt biệt danh Grant "đầu hàng vô điều kiện". Hai chiến thắng liên tiếp tại đồn Henry và Donelson là những thắng lợi quan trọng đầu tiên của miền Bắc. Hai con sông lớn Tennessee và Cumberland từ đó đã mở đường sẵn sàng cho cuộc xâm chiếm Tennessee.[9]

Tuyến phòng thủ phía trước của Johnston đã bị phá vỡ. Đúng như Grant dự đoán, vị trí của tướng Polk tại Columbus cũng không thể tiếp tục đứng vững, và ông ta đã phải rút lui ngay sau khi đồn Donelson thất thủ. Grant còn cho quân cắt đứt tuyến đường sắt Memphis và Ohio mà trước đó quân miền Nam vẫn dùng để di chuyển hỗ trợ lẫn nhau. Đến tháng 2, tướng miền Nam P.G.T. Beauregard được cử từ Mặt trận miền Đông đã đến gặp Johnston. Beauregard chỉ huy toàn bộ lực lượng miền Nam ở khu vực giữa hai con sông Mississippi và Tennessee, làm chia rẽ sự chỉ huy thống nhất khi mà Johnston chỉ kiểm soát một lực lượng nhỏ tại Murfreesboro. Beauregard đã lên kế hoạch tập trung lực lượng xung quanh Corinth, Mississippi, và chuẩn bị cho một cuộc tổng công kích. Đến cuối tháng 3, Johnston đưa quân đến tập hợp làm một với Beauregard.[10]

Bên phía quân miền Bắc lúc này, sự chuẩn bị cho chiến dịch lại diễn ra không được suôn sẻ. Halleck tỏ ra lo tranh chấp địa vị với tổng chỉ huy George B. McClellan hơn là tính chuyện chiến lược đánh quân miền Nam, vốn đang bị chia rẽ và có thể bị đánh bại lần lượt. Ông lại không nhất trí với người đồng sự là tướng Buell, hiện đang đóng ở Nashville, về việc phối hợp thống nhất hành động. Halleck đã phái Grant tiến lên thượng lưu sông Tennessee, trong khi Buell vẫn đang ở Nashville. Thấy tình hình như vậy, ngày 11 tháng 3 tổng thống Abraham Lincoln chỉ định cho Halleck làm tổng chỉ huy toàn bộ quân đội ở miền Tây, từ sông Missouri đến Knoxville, Tennessee - chấm dứt sự chia rẽ trong bộ chỉ huy. Halleck liền ra lệnh cho Buell đến hội quân với tướng Grant tại Pittsburg Landing trên sông Tennessee.[11]

Mờ sáng ngày 6 tháng 4, đội quân kết hợp miền Nam do Beauregard và Johnston chỉ huy bất thình lình kéo đến đánh úp Binh đoàn Tây Tennessee của Grant tại Pittsburg Landing trong trận Shiloh. Vào ngày đầu tiên của trận đánh, quân miền Bắc bị công kích dữ dội và bị đẩy lui đến bờ sông Tennessee nhưng sau đó cố giữ được. Quân miền Nam sau vài thắng lợi ban đầu không đánh dứt được quân địch. Tướng Johnston - người được tổng thống Jefferson Davis coi là chỉ huy tài giỏi nhất của miền Nam tại thời điểm này - bị bắn chết trong khi đang dẫn đầu bộ binh tấn công. Ngày hôm sau, 7 tháng 4, tướng Buell đến chi viện, hợp quân cùng Grant phản công đánh lui quân miền Nam. Nhưng Grant không truy đuổi được quân miền Nam rút chạy, và do đó đã bị chỉ trích kịch liệt, cũng như vì tổn thất nặng nề của quân miền Bắc. Số binh sĩ thương vong trong trận này (gần 24.000 người) nhiều hơn tổng số thương vong trong lịch sử quân đội Hoa Kỳ trước đó.[12]

Quân miền Bắc cũng bắt đầu xiết chặt quyền kiểm soát sông Mississippi. Ngày 7 tháng 4, trong khi quân miền Nam đang rút chạy từ Shiloh, thiếu tướng miền Bắc John Pope đã đánh bại lực lượng độc lập của Beauregard tại Đảo số 10, mở đường sông đến tận sát Memphis. Ngày 18 tháng 4, đô đốc David Farragut tấn công và sau đó chiếm được thành phố New Orleans, hải cảng quan trọng nhất của miền Nam. Quân đội của thiếu tướng Benjamin Butler đã thiết lập một chính phủ quân sự và cai trị thành phố một cách khắc nghiệt, gây ra nhiều oán giận lớn trong dân chúng đối với lực lượng chiếm đóng.[13]

Mặc dù lúc này quân miền Nam của Beauregard rơi vào tình trạng suy yếu khó có thể chống lại một cuộc tấn công xuống phía nam, nhưng Halleck lại tỏ ra thiếu quyết liệt để lợi dụng thời cơ đánh gấp. Ông ta tốn rất nhiều thời gian đợi cho đến khi tập hợp được một đội quân lớn, kết hợp các lực lượng gồm binh đoàn Ohio của Buell, Binh đoàn Tây Tennessee của Grant, và binh đoàn sông Mississippi của Pope tại Pittsburg Landing. Sau đó, quân miền Bắc từ từ tiến về giao lộ đường sắt quan trọng tại Corinth, ngày đi, đêm dừng lại đào chiến hào - rất chậm chạp. Đến ngày 3 tháng 5, Halleck chỉ còn cách thành phố 10 dặm nhưng đã phải mất thêm 3 tuần lễ để tiến thêm 8 dặm về phía Corinth. Tổng cộng trong 4 tuần lễ chỉ đi được cách Shiloh 20 dặm (32 km). Do tốc độ chậm chạp mà cuộc hành quân đã được đặt tên là Cuộc bao vây Corinth. Đến ngày 25 tháng 5, Halleck đã sẵn sàng cho một cuộc pháo kích lớn vào tuyến phòng thủ của đối phương, nhưng lúc này tướng miền Nam Beauregard quyết định không bám trụ để khỏi hao quân, và đã rút lui không kháng cự khỏi Corinth trong đêm 29 tháng 5.[14]

Tướng Grant không tham gia chỉ huy trực tiếp trong chiến dịch Corinth. Halleck đã tổ chức lại quân đội, cho Grant làm phó chỉ huy - không có quyền hạng gì thực sự, và xáo trộn từ ba binh đoàn thành ba "cánh quân". Khi Halleck được triệu về miền Đông thay McClellan làm tổng chỉ huy, Grant lên thay ông ta chỉ huy quân đội ở Mặt trận miền Tây, giờ được đặt tên là Quận Tây Tennessee. Thế nhưng trước khi đi, Halleck đã làm bỏ phí mất cơ hội truy kích và tiêu diệt Beauregard khi tự phân tán lực lượng của mình, ông ta phái Buell tiến về Chattanooga, Sherman đi Memphis, một sư đoàn đến Arkansas và Rosecrans được lệnh phải giữ vị trí phòng thủ xung quanh Corinth. Những hành động này của Halleck một phần là do Tổng thống Lincoln muốn đánh chiếm miền đông Tennessee và liên kết với những người ủng hộ miền Bắc tại khu vực này.[15]